Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents
行动胜于言语：测量工具使用智能体的跨语言策略保留
🧭 多语言智能体 · 策略评估与测量 ★ 深度解读
Microsoft Research India
跨语言评估不应只看答案，需测量行动轨迹一致性；四个前沿模型保留自同一性的份额稳定在71–73%
📌 工作参考价值（4 点）
- 多语言 Agent 上线前，不应仅比对最终答案，要监控行动序列差异：可借鉴 Icross/Iwithin 归一化指标，排除随机性和自一致性天花板，真实衡量语言切换对行动策略的冲击。
- 注意测量中的混淆因子（轨迹长度、空轨迹、偶然一致）：任何多模块系统的跨语言对比都需长度匹配、空值剔除，并测量偶然一致基线，否则会误判模型强弱排序。
- 发现「英语枢轴」是成本与失败模式的隐性来源：模型在非英语任务中大量调用翻译工具并内转英语推理，即便指令禁止仍不放弃，这直接导致非英语分支成本更高、失败模式独立于英语回归测试——部署多语言 Agent 时必须针对各语言分支单独审计。
- 单条正则解析可能制造虚假的多语言失败：使用固定模板提取工具调用时，某些模型可能用自然语言提及工具而非严格遵循语法，仅解析失败而非能力不足；建议在日常链路中报告解析失败率，超过 20% 的模型应视为不可排名，避免评估噪声掩盖真实能力。